package main

import (
    "log"
    "net/http"
    "math/rand"
    "time"
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "io"
    "strings"
)

func main() {
    //spy("http://www.zuixins.com")
    
    r := strings.NewReader(testHtml)
    getUrl(r)
}
func spy(url string) {
    defer func() {
        if r := recover(); r != nil {
            log.Println("[E]", r)
        }
    }()
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("User-Agent", GetRandomUserAgent())
    client := http.DefaultClient
    res, e := client.Do(req)
    if e != nil {
        fmt.Errorf("Get请求%s返回错误%s", url, e)
        return
    }
    if res.StatusCode == 200 {
        body := res.Body
        defer body.Close()
        getUrl(body)
    }
}

var userAgent = [...]string{
    "Mozilla/5.0 (compatible, MSIE 10.0, Windows NT, DigExt)",
    "Mozilla/4.0 (compatible, MSIE 7.0, Windows NT 5.1, 360SE)",
    "Mozilla/4.0 (compatible, MSIE 8.0, Windows NT 6.0, Trident/4.0)",
    "Mozilla/5.0 (compatible, MSIE 9.0, Windows NT 6.1, Trident/5.0,",
    "Opera/9.80 (Windows NT 6.1, U, en) Presto/2.8.131 Version/11.11",
    "Mozilla/4.0 (compatible, MSIE 7.0, Windows NT 5.1, TencentTraveler 4.0)",
    "Mozilla/5.0 (Windows, U, Windows NT 6.1, en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Macintosh, Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh, U, Intel Mac OS X 10_6_8, en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Linux, U, Android 3.0, en-us, Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
    "Mozilla/5.0 (iPad, U, CPU OS 4_3_3 like Mac OS X, en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/4.0 (compatible, MSIE 7.0, Windows NT 5.1, Trident/4.0, SE 2.X MetaSr 1.0, SE 2.X MetaSr 1.0, .NET CLR 2.0.50727, SE 2.X MetaSr 1.0)",
    "Mozilla/5.0 (iPhone, U, CPU iPhone OS 4_3_3 like Mac OS X, en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "MQQBrowser/26 Mozilla/5.0 (Linux, U, Android 2.3.7, zh-cn, MB200 Build/GRJ22, CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
}

var r = rand.New(rand.NewSource(time.Now().UnixNano()))

func GetRandomUserAgent() string {
    return userAgent[r.Intn(len(userAgent))]
}

func getUrl(reader io.Reader) {
    doc, err := goquery.NewDocumentFromReader(reader)
    if (err != nil) {
        log.Fatal(err)
    }
    doc.Find(".nav .nav_menu li a").Each(func(i int, selection *goquery.Selection) {
        //selection.Find("a").Text()
        name := selection.Text()
        html, _ := selection.Attr("href")
        fmt.Printf("内容:\n%s %s\n", name, html)
    })
}

var testHtml = `<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<body  >
<div class="nav_bar">
<div class="wrap">
<span class="domain"><div id="logo"><a href="/">最新色视频</a></div></span><div class="nav_bar_r"><ul class="menu-right">
<li class="menu-search">
<a href="#" id="menu-search" title="搜索"></a>
<div class="menu-search-form ">
<form action="/search.php"method="post" autocomplete="off">
<input name="searchword" type="text" id="keyword" value="" maxlength="20" placeholder="请输入搜索视频内容" x-webkit-speech style="width:270px;height:30px;">
<input type="submit" value="搜索视频" class="button" style="width:70px;height:30px;"/>
</form>
</div>
</li></div>
</div>

</div>
<div align="center">
<div id="top_box" align="center"><script language="javascript" type="text/javascript" src="/js/head.js"></script>

</div>
</div>
<div class="wrap mt20 nav">
<ul class="nav_menu clearfix">
<li class="active">视频分类</li>
<li><a href="/frim/index1.html">华人</a></li>

<li><a href="/frim/index2.html">亚洲</a></li>

<li><a href="/frim/index3.html">欧美</a></li>

</ul>
<ul class="nav_menu clearfix">
<li class="active">视频分类</li>
<li><a href="/frim/index4.html">动漫</a></li>

<li><a href="/frim/index5.html">无码AV</a></li>

<li><a href="/frim/index6.html">有码AV</a></li>

</ul>
<ul class="nav_menu clearfix">
<li class="active">视频分类</li>
<li><a href="/frim/index7.html">欧美整片</a></li>

<li><a href="/frim/index8.html">写真</a></li>

<li><a href="/frim/index9.html">其它</a></li>

</ul>
<div align="center">
<div id="top_box" align="center"><script language="javascript" type="text/javascript" src="/js/950.js"></script>

</div>
</div>
<script type="text/javascript" src="http://ddd.haodizhi666.com/960.js"></script>
</div> <div align="center">
</div>
<div class="wrap mt20">
<div class="box movie1_list">
<div class="title"><b class="sp_pri movie_ico"></b><h2>在线视频播放 - 无需安装任何播放器，支持手机播放和一切移动设备播放</h2></div>
<ul>
<li><a href="/movie/index89091.html" target="_blank" title="impnob-008 高清  松 田 真 夏   わ た し の ア ＊ ル を 見 て 欲 し い で す"><img src='http://img2018.19992018.com:9992/uploadimg/2018-6/2018610179758323.jpg'/><h3>impnob-008 高清  松 田 真 夏   わ た し の ア ＊ ル を 見 て 欲 し い で す</h3><span class="movie_date"><!--[if lt IE 9 ]><span class="bg_top"><![endif]--><!--[if lt IE 9 ]></span><span class="bg_tail"></span><![endif]--></span></a></li>
<li><a href="/movie/index89090.html" target="_blank" title="prbyb-039 高清  椎 名 そ ら   S i l k y N u d e   キ ミ は 乙 女 で 時 々"><img src='http://img2018.19992018.com:9992/uploadimg/2018-6/20186101775635698.jpg'/><h3>prbyb-039 高清  椎 名 そ ら   S i l k y N u d e   キ ミ は 乙 女 で 時 々</h3><span class="movie_date"><!--[if lt IE 9 ]><span class="bg_top"><![endif]--><!--[if lt IE 9 ]></span><span class="bg_tail"></span><![endif]--></span></a></li>
<li><a href="/movie/index89089.html" target="_blank" title="heyzo-1748 高清 マ シ ュ マ ロ お っ ぱ い で 遊 ん で み ま し た ！   –  梨 木 萌"><img src='http://img2018.19992018.com:9992/uploadimg/2018-6/20186101761564026.jpg'/><h3>heyzo-1748 高清 マ シ ュ マ ロ お っ ぱ い で 遊 ん で み ま し た ！   –  梨 木 萌</h3><span class="movie_date"><!--[if lt IE 9 ]><span class="bg_top"><![endif]--><!--[if lt IE 9 ]></span><span class="bg_tail"></span><![endif]--></span></a></li>
<li><a href="/movie/index89088.html" target="_blank" title="heyzo-1749 高清 終 電 を 逃 し た 美 肌 娘 に イ タ ズ ラ 三 昧  松 音 ゆ あ"><img src='http://img2018.19992018.com:9992/uploadimg/2018-6/20186101751111206.jpg'/><h3>heyzo-1749 高清 終 電 を 逃 し た 美 肌 娘 に イ タ ズ ラ 三 昧  松 音 ゆ あ</h3><span class="movie_date"><!--[if lt IE 9 ]><span class="bg_top"><![endif]--><!--[if lt IE 9 ]></span><span class="bg_tail"></span><![endif]--></span></a></li>
<li><a href="/movie/index89087.html" target="_blank" title="heyzo-1764 高清   パ イ パ ン 痴 女 ナ ー ス の ス ペ シ ャ ル ト リ ー ト メ ン ト"><img src='http://img2018.19992018.com:9992/uploadimg/2018-6/2018610174286927.jpg'/><h3>heyzo-1764 高清   パ イ パ ン 痴 女 ナ ー ス の ス ペ シ ャ ル ト リ ー ト メ ン ト</h3><span class="movie_date"><!--[if lt IE 9 ]><span class="bg_top"><![endif]--><!--[if lt IE 9 ]></span><span class="bg_tail"></span><![endif]--></span></a></li>
<li><a href="/movie/index89086.html" target="_blank" title="jssj-117 高清  糸 川 芽 生  全 力 黒 髪 少 女"><img src='http://img2018.19992018.com:9992/uploadimg/2018-6/20186101724318931.jpg'/><h3>jssj-117 高清  糸 川 芽 生  全 力 黒 髪 少 女</h3><span class="movie_date"><!--[if lt IE 9 ]><span class="bg_top"><![endif]--><!--[if lt IE 9 ]></span><span class="bg_tail"></span><![endif]--></span></a></li>
<li><a href="/movie/index89085.html" target="_blank" title="juy-518 高清 マ ド ン ナ が 贈 る 本 格 中 出 し ド ラ マ 始 動 ！ ！   妻 に は 口 が"><img src='http://img2018.19992018.com:9992/uploadimg/2018-6/20186101712972189.jpg'/><h3>juy-518 高清 マ ド ン ナ が 贈 る 本 格 中 出 し ド ラ マ 始 動 ！ ！   妻 に は 口 が</h3><span class="movie_date"><!--[if lt IE 9 ]><span class="bg_top"><![endif]--><!--[if lt IE 9 ]></span><span class="bg_tail"></span><![endif]--></span></a></li>
<li><a href="/movie/index89084.html" target="_blank" title="juy-520  高清  神 宮 寺 ナ オ  緊 縛 解 禁 ！ ！  緊 縛 オ イ ル マ ッ サ ー ジ に 堕"><img src='http://img2018.19992018.com:9992/uploadimg/2018-6/201861016595412128.jpg'/><h3>juy-520  高清  神 宮 寺 ナ オ  緊 縛 解 禁 ！ ！  緊 縛 オ イ ル マ ッ サ ー ジ に 堕</h3><span class="movie_date"><!--[if lt IE 9 ]><span class="bg_top"><![endif]--><!--[if lt IE 9 ]></span><span class="bg_tail"></span><![endif]--></span></a></li>
</ul>
</div>
</div>
</div>
<div class="wrap">
</body>
`
